StyleGAN has achieved great progress in 2D face reconstruction and semantic editing via image inversion and latent editing. While studies over extending 2D StyleGAN to 3D faces have emerged, a corresponding generic 3D GAN inversion framework is still missing, limiting the applications of 3D face reconstruction and semantic editing. In this paper, we study the challenging problem of 3D GAN inversion where a latent code is predicted given a single face image to faithfully recover its 3D shapes and detailed textures. The problem is ill-posed: innumerable compositions of shape and texture could be rendered to the current image. Furthermore, with the limited capacity of a global latent code, 2D inversion methods cannot preserve faithful shape and texture at the same time when applied to 3D models. To solve this problem, we devise an effective self-training scheme to constrain the learning of inversion. The learning is done efficiently without any real-world 2D-3D training pairs but proxy samples generated from a 3D GAN. In addition, apart from a global latent code that captures the coarse shape and texture information, we augment the generation network with a local branch, where pixel-aligned features are added to faithfully reconstruct face details. We further consider a new pipeline to perform 3D view-consistent editing. Extensive experiments show that our method outperforms state-of-the-art inversion methods in both shape and texture reconstruction quality. Code and data will be released.

Mainstream image caption models are usually two-stage captioners, i.e., calculating object features by pre-trained detector, and feeding them into a language model to generate text descriptions. However, such an operation will cause a task-based information gap to decrease the performance, since the object features in detection task are suboptimal representation and cannot provide all necessary information for subsequent text generation. Besides, object features are usually represented by the last layer features that lose the local details of input images. In this paper, we propose a novel One-Stage Image Captioner (OSIC) with dynamic multi-sight learning, which directly transforms input image into descriptive sentences in one stage. As a result, the task-based information gap can be greatly reduced. To obtain rich features, we use the Swin Transformer to calculate multi-level features, and then feed them into a novel dynamic multi-sight embedding module to exploit both global structure and local texture of input images. To enhance the global modeling of encoder for caption, we propose a new dual-dimensional refining module to non-locally model the interaction of the embedded features. Finally, OSIC can obtain rich and useful information to improve the image caption task. Extensive comparisons on benchmark MS-COCO dataset verified the superior performance of our method.

Transformer-based language models have become the standard approach to solving natural language processing tasks. However, industry adoption usually requires the maximum throughput to comply with certain latency constraints that prevents Transformer models from being used in production. To address this gap, model compression techniques such as quantization and pruning may be used to improve inference efficiency. However, these compression techniques require specialized software to apply and deploy at scale. In this work, we propose a new pipeline for creating and running Fast Transformer models on CPUs, utilizing hardware-aware pruning, knowledge distillation, quantization, and our own Transformer inference runtime engine with optimized kernels for sparse and quantized operators. We demonstrate the efficiency of our pipeline by creating a Fast DistilBERT model showing minimal accuracy loss on the question-answering SQuADv1.1 benchmark, and throughput results under typical production constraints and environments. Our results outperform existing state-of-the-art Neural Magic's DeepSparse runtime performance by up to 50% and up to 4.1x performance speedup over ONNX Runtime. Source code is publicly available at https://github.com/intel/intel-extension-for-transformers.

多年来，Yolo系列一直是有效对象检测的事实上的行业级别标准。尤洛社区（Yolo Community）绝大多数繁荣，以丰富其在众多硬件平台和丰富场景中的使用。在这份技术报告中，我们努力将其限制推向新的水平，以坚定不移的行业应用心态前进。考虑到对真实环境中速度和准确性的多种要求，我们广泛研究了行业或学术界的最新对象检测进步。具体而言，我们从最近的网络设计，培训策略，测试技术，量化和优化方法中大量吸收了思想。最重要的是，我们整合了思想和实践，以在各种规模上建立一套可供部署的网络，以适应多元化的用例。在Yolo作者的慷慨许可下，我们将其命名为Yolov6。我们还向用户和贡献者表示热烈欢迎，以进一步增强。为了了解性能，我们的Yolov6-N在NVIDIA TESLA T4 GPU上以1234 fps的吞吐量在可可数据集上击中35.9％的AP。 Yolov6-S在495 fps处的43.5％AP罢工，在相同规模〜（Yolov5-S，Yolox-S和Ppyoloe-S）上超过其他主流探测器。我们的量化版本的Yolov6-S甚至在869 fps中带来了新的43.3％AP。此外，与其他推理速度相似的检测器相比，Yolov6-m/L的精度性能（即49.5％/52.3％）更好。我们仔细进行了实验以验证每个组件的有效性。我们的代码可在https://github.com/meituan/yolov6上提供。

我们提出了Pangu-Coder，这是一种仅预读的解码器语言模型，该模型采用pangu-alpha架构进行文本到代码生成，即给定自然语言问题描述的编程语言解决方案的合成。我们使用两阶段策略训练Pangu-Coder：第一阶段采用因果语言建模（CLM）来预先培训原始编程语言数据，而第二阶段则使用因果语言建模和掩盖语言建模（MLM）的组合培训目标，专注于文本到代码生成的下游任务，并培训松散的自然语言程序定义和代码功能。最后，我们讨论了pangu-coder-ft，该pander the是通过竞争性编程问题和代码与持续集成测试的结合进行了微调的。我们评估了pangu-coder，重点是它是否生成功能上正确的程序，并证明它在参加较小的上下文窗口和较少的数据培训的同时，它比诸如Codex之类的类似大小的模型（例如Codex）实现等效性或更好的性能。

在过去的十年中，电子商务的自动产品描述生成已经取得了重大进步。产品文案旨在通过通过文本描述突出产品特征来吸引用户的兴趣并改善用户体验。随着电子商务平台提供的服务变得多样化，有必要动态地调整自动生成描述的模式。在本文中，我们将基于电子商务前缀的可控文案生成（EPCCG）系统部署到JD.com电子商务产品推荐平台中的经验。系统的开发包含两个主要组成部分：1）文案写作方面提取； 2）弱监督的方面标签； 3）具有基于前缀的语言模型的文本生成； 4）文案写作质量控制。我们进行实验以验证拟议的EPCCG的有效性。此外，我们将与EPCCG合作的已部署架构介绍到实时JD.com电子商务推荐平台以及部署以来的巨大回报。

离线强化学习利用静态数据集来学习最佳策略，无需访问环境。由于代理商在线交互的展示和培训期间的样本数量，这种技术对于多代理学习任务是可取的。然而，在多代理强化学习（Marl）中，从未研究过在线微调的离线预训练的范式从未研究过，可以使用离线MARL研究的数据集或基准。在本文中，我们试图回答违规在Marl中的离线培训是否能够学习一般的政策表现，这些问题可以帮助提高多个下游任务的性能。我们首先引入基于Starcraftia环境的不同质量水平的第一个离线Marl数据集，然后提出了用于有效的离线学习的多代理决策变压器（MADT）的新颖体系结构。 MADT利用变换器的时间表示的建模能力，并将其与离线和在线MARL任务集成。 Madt的一个至关重要的好处是，它学会了可以在不同任务场景下不同类型的代理之间转移的可稳定性政策。当在脱机目的Datline数据上进行评估时，Madt展示了比最先进的离线RL基线的性能卓越。当应用于在线任务时，预先训练的MADT显着提高了样品效率，即使在零射击案件中也享有强大的性能。为了我们的最佳知识，这是第一个研究并展示了在Marl中的样本效率和最常性增强方面的离线预训练模型的有效性。

我们介绍了一个开源深学习库的Pytorchvideo，为各种视频理解任务提供了丰富的模块化，高效，可重复的组件，包括分类，检测，自我监督学习和低级处理。该库涵盖了一系列视频理解工具，包括复制最先进的性能的多模式数据加载，转换和模型。Pytorchvideo进一步支持硬件加速，从而实现移动设备上的实时推断。图书馆基于Pytorch，可以由任何培训框架使用;例如，pytorchlightning，pyslowfast或优雅的愿景。pytorchvideo在https://pytorchvideo.org/提供

一个名为语音处理通用性能基准（Superb）的排行榜，它旨在基准测试各种下游语音任务的共享自我监督学习（SSL）语音模型的性能，并推动了研究用于语音表示学习。 SuperB演示语音SSL上游模型通过仅限最小的调整来提高各种下游任务的性能。由于自我监督学习上游模型的范式，其次是下游任务，在语音界引起更多关注，表征此类范例的对抗性稳健性是高优先级的。在本文中，我们首次尝试在零知识对手和有限知识对手的袭击下调查此类范例的对抗脆弱性。实验结果表明，Superb提出的范例严重易受有限的知识对手的影响，零知识对手产生的攻击是可转移性的。 XAB测试验证了制作的对抗性攻击的难以察觉。

图表卷积网络（GCNS）已成为基于骨架的动作识别的主要方法。然而，它们仍然遭受两个问题，即邻域约束和纠缠的时空特征表示。大多数研究侧重于改善图形拓扑的设计，以解决第一个问题，但他们尚未充分探索后者。在这项工作中，我们设计了一个解开的时空变压器（DSTT）块，以克服GCN的上述限制三个步骤：（i）脱离时尚分解的分离;（ii）用于捕获全球背景下的相关性的全球时空注意; （iii）利用更多本地信息的本地信息增强。在其上，我们提出了一种名为分层图卷积件骨架变压器（HGCT）的新型架构，用于采用GCN（即，本地拓扑，时间动态和层级）和变压器的互补优势（即，全球背景和动态注意）。 HGCT轻量级和计算效率。定量分析证明了HGCT的优越性和良好的解释性。